Khoảng cuối năm Canh Tuất (1850) đời vua Tự Đức, Cao Bá Quát lấy cớ về quê chịu tang cha và sau đó xin ở lại nuôi mẹ già rồi xin thôi chức Giáo thụ ở phủ Quốc Oai.

Khoảng tháng 6, tháng 7 âm lịch năm Giáp Dần 1854, nhiều tỉnh ở miền Bắc gặp đại hạn, lại bị nạn châu chấu làm cho mùa màng mất sạch, đời sống người nhân dân hết sức cực khổ; Cao Bá Quát bèn vận động một số sĩ phu yêu nước, các thổ hào ở các vùng Quốc Oai, Vĩnh Phúc, Cao Bằng, Lạng Sơn... cùng nhau tôn Lê Duy Cự làm minh chủ chống lại nhà Nguyễn. Cao Bá Quát làm quốc sư, họp với thổ mục Sơn Tây là Đinh Công Mỹ và Bạch Công Trân dựng cờ nổi dậy tại Mỹ Lương, thuộc vùng Sơn Tây chống lại triều đình đương thời.

Đang trong quá trình chuẩn bị khởi nghĩa, do có người tố giác nên kế hoạch bị bại lộ. Trước tình thế cấp bách, Cao Bá Quát buộc phải phát lệnh tấn công vào cuối năm 1854.

Buổi đầu ông cùng các thổ mục ở Sơn Tây là Đinh Công Mỹ và Bạch Công Trân đem lực lượng đánh phá phủ Ứng Hòa, huyện Thanh Oai, huyện thành Tam Dương, phủ Quốc Oai, Yên Sơn...Tuy giành được một số thắng lợi, nhưng sau khi quan quân triều đình tập trung phản công thì quân khởi nghĩa liên tiếp bị thất bại.

Tháng Chạp năm Giáp Dần (tháng 12 năm này rơi vào năm dương lịch 1855 [13]), sau khi bổ sung lực lượng (chủ yếu là người Mường và người Thái ở vùng rừng núi Mỹ Lương, nay là vùng đất phía Tây sông Đáy thuộc các huyện Chương Mỹ, Mỹ Đức của Hà Nội, và các huyện Lương Sơn, Kim Bôi tỉnh Hòa Bình[14]), Cao Bá Quát đem quân tấn công huyện lỵ Yên Sơn lần thứ hai (huyện lỵ huyện Yên Sơn cũng là phủ lỵ phủ Quốc Oai[15], ngày nay là thị trấn Quốc Oai huyện Quốc Oai). Phó lãnh binh Sơn Tây là Lê Thuận đem quân nghênh chiến. Cuộc đối đầu đang hồi quyết liệt tại vùng núi Yên Sơn (giáp Sài Sơn), thì Cao Bá Quát bị suất đội Đinh Thế Quang bắn chết tại trận. Tiếp theo, Nguyễn Kim Thanh và Nguyễn Văn Thực cũng lần lượt bị quân triều đình bắt được, sau cả hai đều bị xử chém. Ngoài những thiệt hại này, hơn trăm quân khởi nghĩa bị chém chết và khoảng 80 quân khác bị bắt (theo sử nhà Nguyễn).

Nghe tin đại thắng, vua Tự Đức lệnh cho ban thưởng và cho đem thủ cấp của nghịch Quát bêu và rao khắp các tỉnh Bắc Kỳ rồi giã nhỏ quăng xuống sông. Sự thật về cái chết của Cao Bá Quát cho đến nay vẫn còn là một vấn đề nghi vấn cần làm sáng tỏ hơn [16].

Sau khi dẹp được cuộc khởi nghĩa, triều đình ra lệnh tru di tam tộc dòng họ Cao của ông. Anh trai song sinh của ông là Cao Bá Đạt đang làm Tri huyện Nông Cống tỉnh Thanh Hóa, và có tiếng là một viên quan mẫn cán và thanh liêm, cũng phải chịu tội và bị giải về kinh đô Huế. Dọc đường, Cao Bá Đạt làm một tờ trần tình gửi triều đình rồi dùng dao đâm cổ tự vẫn.